📘 TensorRT-LLM 精度实战
30章 · 排查指南
🧪
逐层诊断
⚡
FP8/INT4
🧩
社区工具
1
精度问题全景图
为什么TensorRT-LLM会出现精度损失？常见场景与影响范围。
2
精度对比方法论
如何搭建科学的精度对比流水线（Golden Data vs TRT-LLM Output）。
3
量化基础回顾
FP16、INT8、INT4、FP8量化原理及其对精度的影响。
4
校准数据集
如何选择与构建校准数据集，避免校准偏差。
5
逐层精度诊断
使用TensorRT-LLM内置工具进行逐层（Layer-wise）精度对比。
6
Attention机制精度
FlashAttention与标准Attention的精度差异及排查方法。
7
激活值异常检测
如何定位因激活值过大/过小导致的精度崩溃。
8
权重精度问题
检查点（Checkpoint）加载与转换过程中的精度损失。
9
KV Cache量化
INT8/FP8 KV Cache的精度影响与调优策略。
10
SmoothQuant技术
SmoothQuant在LLM中的应用与精度调优。
11
AWQ与GPTQ
两种主流权重量化方法的精度对比与选择。
12
FP8训练后量化
FP8量化的精度敏感层识别与回退策略。
13
动态量化与静态量化
两种量化方式的精度差异与适用场景。
14
Batch Size与精度
不同Batch Size下精度表现不一致的排查思路。
15
序列长度影响
长序列推理中的精度衰减问题。
16
多卡推理精度
Tensor Parallel与Pipeline Parallel下的精度一致性。
17
FP32参考模型构建
如何构建一个可靠的FP32基线模型。
18
算子精度对比
逐个算子（MatMul, Softmax, LayerNorm等）精度排查。
19
数值稳定性
下溢出、上溢出与NaN/Inf的检测与处理。
20
随机性控制
Seeding与Deterministic模式在精度复现中的作用。
21
精度与吞吐量权衡
如何在精度损失可接受范围内最大化性能。
22
常见精度损失模式
系统性偏差、随机噪声、尾部异常等模式识别。
23
日志与监控
如何配置TensorRT-LLM的日志级别以捕获精度相关警告。
24
自定义精度回调
编写Python回调函数监控推理过程中的中间张量。
25
精度回归测试
建立CI/CD流水线中的精度回归测试套件。
26
社区工具与脚本
利用TensorRT-LLM社区提供的精度诊断工具。
27
模型特定问题
LLaMA、ChatGLM、Qwen等不同架构的精度敏感点。
28
精度与幻觉
量化后模型输出质量下降（幻觉、重复）的关联分析。
29
紧急恢复方案
当精度不达标时，如何快速回退到高精度配置。
30
实战案例复盘
从三个真实生产环境精度事故中学习排查思路。